Beyond the Final Prompt: Measuring the Effect of Within-Conversation Context on AI Answers
超越最后一条消息：衡量对话内上下文对AI回答的影响
🧭 对话式AI评估中查询单元的重新定义
Aiso, Tel Aviv, Israel
实验证明忽略对话前置上下文会导致44.7%的回答发生实质性变化，压缩前缀仅部分弥补
📌 工作参考价值（4 点）
- 评估对话式推荐/客服Agent时，必须携带完整对话历史，否则近半数回答会实质性变化，导致离线指标不可靠
- 生产环境A/B测试或日志复盘，应将整个session作为query单元，而非单条最终消息，以准确反映模型是否满足用户需求
- 出于成本考虑，可压缩对话前缀至160词，将实质性差异率从44.7%降至30.8%，但仍有约1/3的回答受影响，需权衡性价比
- 构建对话评价数据集时，标注需基于完整上下文，仅看最后消息可能错误估计模型能力